DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA
科学问答中引用完整性与事实基础的校正管道
🧭 RAG 可信评估与校正
Georgia Institute of Technology
前沿模型即使不使用检索文档也能高相关性回答,校正管道小幅提升引用忠实度,强调评估需奖励严格答案根基
📌 工作参考价值(4 点)
- 构建电商RAG问答/推荐解释时,传统相关性和流畅性指标会掩盖模型是否真正引用检索文档,需增加引用忠实度或答案根基性指标。
- 可采用预生成前CRAG过滤不相关块+后生成CiteFix强制对齐的校正管道,提升生成文本的引用完整性,适用于电商客服、搜索解释等场景。
- LLM-as-judge诊断可检测模型虽识别相关文档却未使用其内容,用于验证RAG系统是否真正依赖检索信息,对可解释推荐和对话式agent至关重要。
- 设计Agent的RAG生成模块时,加入后验步骤强制每个声明有出处,能提高可信度,尤其适合电商中需要验证的推荐理由或产品问答。